ComfyUI VLM nodes
https://github.com/gokayfem/ComfyUI_VLM_nodesgokayfem/ComfyUI_VLM_nodes
OpenAI API/DeepSeek AIを使ったチャット
各種LVM
JoyTag
moondream1
moondream2
LLaVA系
internlm-xcomposer2-vl-7b-4bit
KOSMOS-2
uform-gen2-qwen-500m
MC-LLaVA-3b
PaliGemma
Molmo
ggufモデル
llama-cpp-pythonを使っているので、ほとんどのggufモデルをフォルダ(ComfyUI\models\LLavacheckpoints)に入れて読み込むだけで使うことが出来る
プロンプト生成
Qwen 1.8B Stable Diffusion Prompt
音楽生成
AudioLDM 2
ChatMusician
StructuredOutputノード
https://gyazo.com/5aac93e8122baa3f6a5d706d1b3c4649
llama-cpp-agentの機能を使って、出力形式を数字やタグ、指定したカテゴリ内から選ぶといった様に限定できる
出力形式は、GPT-4ですら数字だけで答えろ、と言っても余計なフィラー挟んでくるので、こうして制限できるのは非常に使いやすいnomadoor.icon
🤔LLaVaの出力で数字の羅列か空白しか出力されない
LlavaClipLoaderノードで間違ったものを指定しているとこのような出力になる
カスタムノードへのフルパスの中に日本語があると多分正常に動かないnomadoor.icon
ComfyUIカスタムノード